10. 反向传播算法练习

下图是一个前馈网络,包含

  • 一个输入 x
  • 两个隐藏层,每层包括两个神经元
  • 一个输出

权重矩阵W1的更新规则是什么?

(换句话说,y相对于W1的偏导数是多少?)

提示:使用链式法则

SOLUTION: 方程式 A

解决方法

以下两个路径W_1有利于得到输出:

  • 路径 A
  • 路径 B

(下图展示了这两个路径)

_路径 A_

路径 A

_路径 B_

路径 B

(应用链式法则时)路径 A 的数学导数是:

(应用链式法则时)路径 B 的数学导数是:

为了完成计算,我们需要考虑有利于计算 y 的所有路径。在这种例子下,我们提到了两条路径。因此,最后的计算是每条路径计算得出的导数之和。